マルチメディア会議イベントの参加者を自動的に識別する技術

专利摘要:
マルチメディア会議イベントの参加者を自動的に識別する技術を説明する。装置には、マルチメディア会議イベントのミーティング招待者のリストを受け取るよう動作するコンテンツベースのアノテーションコンポーネントを含むことができる。コンテンツベースのアノテーションコンポーネントは、複数のミーティングコンソールから複数の入力メディアストリームを受け取ることができる。コンテンツベースのアノテーションコンポーネントは、各入力メディアストリームのメディアフレームに、各入力メディアストリーム内の各参加者の識別情報でアノテーションを付けて、対応するアノテーション付きメディアストリームを形成することができる。他の実施形態を説明し特許請求する。
公开号:JP2011512772A
申请号:JP2010547663
申请日:2009-01-21
公开日:2011-04-21
发明作者:バッタチャルジー アヴロニル；シャルマ カピル；ホーキンス クイン；タッカー プーリン；ジー．カトラー ロス
申请人:マイクロソフト コーポレーション；
IPC主号:H04N7-15

专利说明:

[0001] マルチメディア会議システムでは一般的には、コラボラティブ（共同的）なリアルタイムのミーティングにおいて、ネットワークを介して複数の参加者が、異なるタイプのメディアコンテンツをやりとりし、共有することが可能である。マルチメディア会議システムでは、種々のＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）のウィンドウまたはビューを使用して、異なるタイプのメディアコンテンツを表示することができる。例えば、１つのＧＵＩビューが参加者のビデオ画像を含み、別のＧＵＩビューがプレゼンテーションのスライドを含み、さらに別のＧＵＩビューが参加者間のテキストメッセージを含むことができる、等々である。この方法において、種々の地理的に異なる参加者が、全ての参加者が１つの部屋にいる物理的な会議環境と同様の仮想の会議環境において、互いに情報をやりとりし伝達することができる。]
[0002] しかし、仮想の会議環境においては、ミーティングの種々の参加者を識別することは難しいかもしれない。この問題は一般的には、ミーティング参加者数が増えるにつれて大きくなり、それが、潜在的に参加者間の困惑およびぎこちなさの原因となる。仮想の会議環境における識別技術を改善することに対処する技術により、ユーザの経験および利便性を向上させることができる。]
[0003] 種々の実施形態は、一般にマルチメディア会議システムに対処することができる。いくつかの実施形態は、特に、マルチメディア会議イベントの参加者を自動的に識別する技術に対処することができる。マルチメディア会議イベントには、複数の参加者を含むことができ、その中には、会議室に集まることができる者、マルチメディア会議イベントに遠隔地から参加することができる者がいる。]
[0004] 一実施形態において、例えば、装置には、マルチメディア会議イベントのミーティング招待者のリストを受け取るよう動作するコンテンツベースのアノテーションコンポーネントを含むことができる。コンテンツベースのアノテーションコンポーネントは、複数のミーティングコンソールから複数の入力メディアストリームを受け取ることができる。コンテンツベースのアノテーションコンポーネントは、各入力メディアストリームのメディアフレームに、各入力メディアストリーム内の各参加者の識別情報でアノテーションを付けて、対応するアノテーション付きメディアストリームを形成することができる。他の実施形態を説明し特許請求する。]
[0005] 本「発明の概要」は、以下の「発明を実施するための形態」でさらに説明する概念を選択して簡略化した形式で紹介するために提供するものである。本「発明の概要」は、特許請求の主題の重要な特徴または主要な特徴を特定することを意図しておらず、特許請求の主題の範囲を制限するものとして使用されることも意図していない。]
図面の簡単な説明

[0006] マルチメディア会議システムの一実施形態を示す図である。
コンテンツベースのアノテーションコンポーネントの一実施形態を示す図である。
マルチメディア会議サーバの一実施形態を示す図である。
論理フローの一実施形態を示す図である。
コンピューティングアーキテクチャの一実施形態を示す図である。
製品の一実施形態を示す図である。]
実施例

[0007] 種々の実施形態は、ある特定の動作、機能、またはサービスを実施するために配置される物理的構造または論理的構造を含む。構造には、物理的構造、論理的構造、またはその両方の組み合わせを含むことができる。物理的構造または論理的構造は、ハードウェア要素、ソフトウェア要素、またはその両方の組み合わせを使用して実装される。しかし、特定のハードウェア要素またはソフトウェア要素を参照する実施形態の説明は、例であり限定ではない。実際に実施形態を実践するためのハードウェア要素またはソフトウェア要素の使用の決定には、例えば、所望のコンピュータレート、電力レベル、耐熱性、処理サイクル量、入力データレート、出力データレート、メモリリソース、データバススピード、および他の設計の制約または性能の制約といった、多くの外的要因が関わる。さらに、物理的構造または論理的構造は、電子信号またはメッセージの形式で構造間の情報をやりとりする、対応する物理接続または論理接続を有することができる。接続には、必要に応じて情報または特定の構造の有線接続および／または無線接続を含むことができる。「一実施形態」または「実施形態」への任意の参照は、実施形態に関連して説明される特定の特徴、構造、または特性が、少なくとも１つの実施形態に含まれることを意味するということは特筆に値する。「一実施形態において」という句が本明細書中の種々の個所に現れるが、必ずしも全て同じ実施形態を参照するわけではない。]
[0008] 種々の実施形態は一般に、ネットワークを介して、ミーティングサービスおよびコラボレーションサービスを複数の参加者に提供するよう配置される、マルチメディア会議システムに対処することができる。いくつかのマルチメディア会議システムは、インターネットまたはワールドワイドウェブ（「ウェブ」）といった種々のパケットベースのネットワークを用いて動作してウェブベースの会議サービスを提供するよう、設計することができる。そのような実装は、ウェブ会議システムと称されることもある。ウェブ会議システムの一例には、ワシントン州レドモンド、マイクロソフト社製のＭＩＣＲＯＳＯＦＴ「登録商標」ＯＦＦＩＣＥ ＬＩＶＥＭＥＥＴＩＮＧを含むことができる。他のマルチメディア会議システムは、個人のネットワーク、ビジネス、組織、または企業向けに動作するよう設計することができ、ワシントン州レドモンド、マイクロソフト社製のＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＳＥＲＶＥＲといった、マルチメディア会議サーバを利用することができる。しかし、当然のことながら、実装はこれらの例に限らない。]
[0009] マルチメディア会議システムには、他のネットワーク要素の中でも、ウェブ会議サービスを提供するよう配置される、マルチメディア会議サーバまたは他の処理デバイスを含むことができる。例えば、マルチメディア会議サーバには、他のサーバ要素の中でも、ウェブ会議といったミーティング・コラボレーションイベントの異なるタイプのメディアコンテンツを制御および混合させるよう動作する、サーバミーティングコンポーネントを含むことができる。ミーティング・コラボレーションイベントは、リアルタイムのオンライン環境またはライブのオンライン環境において種々のタイプのマルチメディア情報を提示する、任意のマルチメディア会議イベントを指し、本明細書においては単に「ミーティングイベント」「マルチメディアイベント」または「マルチメディア会議イベント」と称されることもある。]
[0010] 一実施形態において、マルチメディア会議システムには、ミーティングコンソールとして実装される１つまたは複数のコンピューティングデバイスをさらに含むことができる。各ミーティングコンソールを、マルチメディア会議サーバに接続することによりマルチメディアイベントに参加するよう配置することができる。種々のミーティングコンソールからの異なるタイプのメディア情報を、マルチメディアイベント中にマルチメディア会議サーバが受け取り、次にマルチメディア会議サーバが、メディア情報をマルチメディアイベントに参加中のいくつかのまたは全ての他のミーティングコンソールに配信する。そのように、任意の所与のミーティングコンソールが、異なるタイプのメディアコンテンツの複数のメディアコンテンツビューを持つディスプレイを有することができる。この方法において、種々の地理的に異なる参加者が、全ての参加者が１つの部屋にいる物理的な会議環境と同様の仮想の会議環境において、互いに情報をやりとりし伝達することができる。]
[0011] 仮想の会議環境において、ミーティングの種々の参加者を識別することは困難であろう。マルチメディア会議イベントの参加者は一般的には、ＧＵＩビューに参加者名簿でリストアップされる。参加者名簿には、名前、場所、画像、肩書き等を含む各参加者の何らかの識別情報を含むことができる。しかし、参加者および参加者名簿の識別情報は一般的には、マルチメディア会議イベントに加わるために使用されるミーティングコンソールから得られる。例えば、参加者は一般的には、ミーティングコンソールを使用して、マルチメディア会議イベントの仮想ミーティング室に加わる。加わる前に、参加者は、種々のタイプの識別情報を提供して、マルチメディア会議サーバで認証動作を実施する。マルチメディア会議サーバが参加者を認証すると、参加者は、仮想ミーティング室にアクセすることを許可され、マルチメディア会議サーバが、識別情報を参加者名簿に追加する。しかし、いくつかの場合において、複数の参加者が会議室に集まり、ローカルのミーティングコンソールに連結される種々のタイプのマルチメディア機器を共有して、リモートのミーティングコンソールを有する他の参加者とやりとりすることができる。ローカルのミーティングコンソールが１つであるため、一般的には、会議室内の１人の参加者がローカルのミーティングコンソールを使用して、会議室内の全ての参加者の代わりにマルチメディア会議イベントに加わる。多くの場合、ローカルのミーティングコンソールを使用する参加者は、必ずしもローカルのミーティングコンソールに登録しなくてもよい。従って、マルチメディア会議サーバは、会議室内のいかなる参加者のいかなる識別情報も有していない可能性があり、従って参加者名簿を更新することができない。]
[0012] 会議室のシナリオでは、参加者の識別に関して更なる問題が提起される。参加者名簿および対応する各参加者の識別情報は一般的には、マルチメディアコンテンツを有する他のＧＵＩビューとは切り離されたＧＵＩビューで示される。参加者名簿からの参加者とストリーミングビデオコンテンツ内にマッピングされる参加者の画像との間には、直接的なマッピングは無い。従って、会議室のビデオコンテンツが会議室内の複数の参加者の画像を含む場合、参加者および識別情報を、ビデオコンテンツ内の参加者と共にマッピングすることが困難になる。]
[0013] これらおよび他の問題を解決するため、いくつかの実施形態が、マルチメディア会議イベントの参加者を自動的に識別する技術に対処する。さらに特には、ある特定の実施形態が、会議室から記録されたビデオコンテンツ内の複数の参加者を自動的に識別する技術に対処する。一実施形態において、例えば、マルチメディア会議サーバといった装置には、マルチメディア会議イベントのミーティング招待者のリストを受け取るよう動作するコンテンツベースのアノテーションコンポーネントを含むことができる。コンテンツベースのアノテーションコンポーネントは、複数のミーティングコンソールから複数の入力メディアストリームを受け取ることができ、そのうちの１つが、会議室内のローカルのミーティングコンソールからのものであり得る。コンテンツベースのアノテーションコンポーネントは、各入力メディアストリームのメディアフレームに、各入力メディアストリーム内の各参加者の識別情報でアノテーションを付けて、対応するアノテーション付きメディアストリームを形成することができる。コンテンツベースのアノテーションコンポーネントは、ビデオコンテンツ内の参加者に近接して、識別情報でアノテーション付けし、識別情報を配置または位置づけし、参加者がビデオコンテンツ内で動くにつれて識別情報を移動させることができる。このようにして、自動識別技術により、マルチメディア会議イベントの参加者が、仮想会議室においてお互いをより簡単に識別することが可能となる。その結果、自動識別技術により、オペレータ、デバイスまたはネットワークに対する、値ごろ感、スケーラビリティ、モジュール性、拡張性、または相互運用性を向上させることが可能である。]
[0014] 図１は、マルチメディア会議システム１００のブロック図を示す。マルチメディア会議システム１００は、種々の実施形態の実装に適切な一般的なシステムアーキテクチャを表すことができる。マルチメディア会議システム１００には、複数の要素を含むことができる。要素には、ある特定の動作を実施するために配置される任意の物理的構造または論理的構造を含むことができる。各要素を、所与の組の設計パラメータまたは性能制約について所望の通りに、ハードウェア、ソフトウェア、またはその任意の組み合わせとして、実装することができる。ハードウェア要素の例には、デバイス、コンポーネント、プロセッサ、マイクロプロセッサ、回路、回路素子（例えば、トランジスタ、抵抗、コンデンサ、インダクタ等）、集積回路、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、メモリユニット、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット等を含むことができる。ソフトウェアの例には、任意のソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、機械プログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、ファンクション、メソッド、インターフェース、ソフトウェアインターフェース、ＡＰＩ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍ ｉｎｔｅｒｆａｃｅ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、単語、値、シンボル、または、その任意の組み合わせを含むことができる。図１に示すマルチメディア会議システム１００では、ある特定のトポロジにおいて要素の数が制限されているが、当然のことながら、マルチメディア会議システム１００には、代替のトポロジにおいて、所与の実装について所望の通りに、より多くのまたはより少ない要素を含むことができる。実施形態は、このコンテキストに限らない。] 図１
[0015] 種々の実施形態において、マルチメディア会議システム１００は、有線通信システム、無線通信システム、またはその両方の組み合わせを含むか、またはその一部を形成することができる。例えば、マルチメディア会議システム１００には、１つまたは複数のタイプの有線通信リンクを介して情報をやりとりするよう配置される、１つまたは複数の要素を含むことができる。有線通信リンクの例には、配線、ケーブル、バス、ＰＣＢ（ｐｒｉｎｔｅｄ ｃｉｒｃｕｉｔ ｂｏａｒｄ）、イーサネット接続、ピアツーピア（Ｐ２Ｐ）接続、バックプレーン、スイッチ構成、半導体物質、ツイストペア線、同軸ケーブル、光ファイバ接続等を含むことができるが、これらに限らない。マルチメディア会議システム１００にはまた、１つまたは複数のタイプの無線通信リンクを介して情報をやりとりするよう配置される、１つまたは複数の要素を含むことができる。無線通信リンクの例には、無線チャネル、赤外チャネル、ＲＦ（ｒａｄｉｏ−ｆｒｅｑｕｅｎｃｙ）チャネル、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）チャネル、ＲＦスペクトルの一部、および／または、１つまたは複数の認可された周波数帯域または認可不要の周波数帯域を含むことができるが、これらに限らない。]
[0016] 種々の実施形態において、マルチメディア会議システム１００を、メディア情報および制御情報といった異なるタイプの情報を、やりとり、管理、または処理するよう配置することができる。メディア情報の例には、一般には、音声情報、ビデオ情報、オーディオ情報、画像情報、文字情報、数値情報、アプリケーション情報、英数字記号、グラフィック等といった、ユーザ向けのコンテンツを表す任意のデータを含むことができる。メディア情報は、「メディアコンテンツ」と称することもある。制御情報は、コマンド、命令、または自動システム向けの制御語を表す任意のデータを指すことができる。例えば、制御情報を使用して、システムを介してメディア情報をルーティングする、デバイス間の接続を確立する、デバイスに命令してメディア情報を所定の方法で処理させる等を行うことができる。]
[0017] 種々の実施形態において、マルチメディア会議システム１００には、マルチメディア会議サーバ１３０を含むことができる。マルチメディア会議サーバ１３０は、ネットワーク１２０を介してミーティングコンソール１１０−１−ｍ間のマルチメディア会議コールを確立、管理、または制御するよう配置される、任意の論理エンティティまたは物理エンティティを含むことができる。ネットワーク１２０には、例えば、パケット交換のネットワーク、回路交換のネットワーク、またはその両方の組み合わせを含むことができる。種々の実施形態において、マルチメディア会議サーバ１３０は、任意の処理デバイスまたはコンピューティングデバイス、例えば、コンピュータ、サーバ、サーバアレイまたはサーバファーム、ワークステーション、ミニコンピュータ、メインフレームコンピュータ、スーパーコンピュータ等を含むか、または該任意の処理デバイスまたはコンピューティングデバイスとして実装することができる。マルチメディア会議サーバ１３０は、マルチメディア情報のやりとりおよび処理に適切な、汎用のコンピューティングアーキテクチャまたは特定のコンピューティングアーキテクチャを含むか、または実装することができる。一実施形態において、例えば、マルチメディア会議サーバ１３０を、図５を参照して説明するようなコンピューティングアーキテクチャを使用して実装することができる。マルチメディア会議サーバ１３０の例には、ＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＳＥＲＶＥＲ、ＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＬＩＶＥＭＥＥＴＩＮＧサーバ等を含むことができるが、これに限らない。] 図５
[0018] マルチメディア会議サーバ１３０の特定の実装は、マルチメディア会議サーバ１３０に対して使用される通信プロトコルまたは通信規格の組によって変化し得る。一例において、マルチメディア会議サーバ１３０を、ＩＥＴＦ（Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ）のＭＭＵＳＩＣ（Ｍｕｌｔｉｐａｒｔｙ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｓｓｉｏｎ Ｃｏｎｔｒｏｌ）ワーキンググループのＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）シリーズの規格および／または変形に従って実装することができる。ＳＩＰは、ビデオ、音声、インスタントメッセージ、オンラインゲーム、およびバーチャルリアリティといった、マルチメディア要素を含むインタラクティブなユーザセッションを、初期化、修正、および終了させるための、策定された規格である。別の例において、マルチメディア会議サーバ１３０を、ＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）のＨ．３２３シリーズの規格および／または変形に従って、実装することができる。Ｈ．３２３規格により、多地点接続装置（ＭＣＵ）を定義して、会議コールの動作を調節する。特に、ＭＣＵには、Ｈ．２４５シグナリングを扱う多地点コントローラ（ＭＣ）、および、データストリームを混合し処理する１つまたは複数の多地点プロセッサ（ＭＰ）が含まれる。ＳＩＰおよびＨ．３２３規格の両方が、本質的に、ＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）またはボイスオーバーパケット（ＶＯＰ）（Ｖｏｉｃｅ Ｏｖｅｒ Ｐａｃｋｅｔ）のマルチメディア会議コール動作のためのシグナリングプロトコルである。しかし、当然のことながら、他のシグナリングプロトコルが、マルチメディア会議サーバ１３０に対して実装可能であり、さらに実施形態の範囲内にある。]
[0019] 一般的に動作において、マルチメディア会議システム１００を、マルチメディア会議コールのために使用することができる。マルチメディア会議コールには一般的に、音声、ビデオ、および／またはデータ情報を、複数のエンドポイント間でやりとりすることを含む。例えば、公衆または個人のパケットネットワーク１２０を、オーディオ会議コール、ビデオ会議コール、オーディオ／ビデオ会議コール、コラボラティブな文書の共有および編集等に使用することができる。パケットネットワーク１２０を、回路交換情報とパケット情報との間の変換のために配置される、１つまたは複数の適切なＶｏＩＰゲートウェイを介して、ＰＳＴＮ（Ｐｕｂｌｉｃ Ｓｗｉｔｈｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ）に接続することもできる。]
[0020] パケットネットワーク１２０を介してマルチメディア会議コールを確立するために、各ミーティングコンソール１１０−１−ｍは、可変の接続スピードまたは可変の帯域幅、例えば、低帯域幅のＰＳＴＮ電話接続、中帯域幅のＤＳＬモデム接続またはケーブルモデム接続、およびＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）を介した高帯域幅のイントラネット接続で動作する、種々のタイプの有線通信リンクまたは無線通信リンクを使用して、パケットネットワーク１２０を介して、マルチメディア会議サーバ１３０に接続することができる。]
[0021] 種々の実施形態において、マルチメディア会議サーバ１３０は、ミーティングコンソール１１０−１−ｍ間のマルチメディア会議コールを、確立、管理、および制御することができる。いくつかの実施形態において、マルチメディア会議コールには、コラボレーション能力を全て提供するウェブ会議アプリケーションを使用して、ライブのウェブベースの会議コールを含むことができる。マルチメディア会議サーバ１３０は、会議におけるメディア情報を制御および配信する中央サーバとして動作する。マルチメディア会議サーバ１３０は、メディア情報を種々のミーティングコンソール１１０−１−ｍから受け取り、複数のタイプのメディア情報の混合動作を実施し、そのメディア情報を他の参加者の一部または全てに転送する。１つまたは複数のミーティングコンソール１１０−１−ｍは、マルチメディア会議サーバ１３０に接続することにより会議に加わることができる。マルチメディア会議サーバ１３０は、ミーティングコンソール１１０−１−ｍを安全な制御された方法で認証して追加するための、種々の入場許可制御の技術を実装することができる。]
[0022] 種々の実施形態において、マルチメディア会議システム１００には、ネットワーク１２０を介して１つまたは複数の通信接続に渡ってマルチメディア会議サーバ１３０に接続するミーティングコンソール１１０−１−ｍとして実装される、１つまたは複数のコンピューティングデバイスを含むことができる。例えば、コンピューティングデバイスは、それぞれが別個の会議を表す複数のミーティングコンソールを、同時にホストすることができる、クライアントアプリケーションを実装することができる。同様に、クライアントアプリケーションは、複数のオーディオ、ビデオ、およびデータストリームを受け取ることができる。例えば、全てまたは一部の参加者からのビデオストリームを、参加者のディスプレイにモザイクをかけたものとして表示し、トップのウィンドウに現在のアクティブな話者のビデオを表示し、他の参加者の全景を他のウィンドウに表示する。]
[0023] ミーティングコンソール１１０−１−ｍには、マルチメディア会議サーバ１３０により管理されるマルチメディア会議コールに参加または従事するよう配置される、任意の論理エンティティまたは物理エンティティを含むことができる。ミーティングコンソール１１０−１−ｍを、その最も基本的な形態において、プロセッサおよびメモリを含む処理システム、１つまたは複数のマルチメディアＩ／Ｏ（ｉｎｐｕｔ／ｏｕｔｐｕｔ）コンポーネント、および、無線ネットワーク接続および／または有線ネットワーク接続を含む、任意のデバイスとして実装することができる。マルチメディアＩ／Ｏコンポーネントの例には、オーディオＩ／Ｏコンポーネント（例えば、マイクロフォン、スピーカ）、ビデオＩ／Ｏコンポーネント（例えば、ビデオカメラ、ディスプレイ）、触覚（Ｉ／Ｏ）コンポーネント（例えば、バイブレータ）、ユーザデータ（Ｉ／Ｏ）コンポーネント（例えば、キーボード、サムボード、キーパッド、タッチスクリーン）等を含むことができる。ミーティングコンソール１１０−１−ｍの例には、電話、ＶｏＩＰ電話またはＶＯＰ電話、ＰＳＴＮ上で動作するよう設計されるパケット電話、インターネット電話、テレビ電話、携帯電話、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｅｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、携帯電話およびＰＤＡの組み合わせ、携帯用コンピューティングデバイス、スマートフォン、一方向のページャ、双方向のページャ、メッセージングデバイス、コンピュータ、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ハンドヘルドコンピュータ、ネットワーク電気器具等を含むことができる。いくつかの実装において、ミーティングコンソール１１０−１−ｍを、図５を参照して説明するコンピューティングアーキテクチャと同様の一般的なコンピューティングアーキテクチャまたは特定のコンピューティングアーキテクチャを使用して、実装することができる。] 図５
[0024] ミーティングコンソール１１０−１−ｍは、それぞれのクライアントミーティングコンポーネント１１２−１−ｎを含むか、または実装することができる。クライアントミーティングコンポーネント１１２−１−ｎを、マルチメディア会議サーバ１３０のサーバミーティングコンポーネント１３２と相互運用してマルチメディア会議イベントを確立、管理、または制御するよう設計することができる。例えば、クライアントミーティングコンポーネント１１２−１−ｎは、適切なアプリケーションプログラムおよびユーザインターフェース制御を含むか、または実装して、それぞれのミーティングコンソール１１０−１−ｍが、マルチメディア会議サーバ１３０により容易にされたウェブ会議に参加することを可能にすることができる。クライアントミーティングコンポーネント１１２−１−ｎには、ミーティングコンソール１１０−１−ｍのオペレータにより提供されるメディア情報を取得するための入力機器（例えば、ビデオカメラ、マイクロフォン、キーボード、マウス、コントローラ等）、および、他のミーティングコンソール１１０−１−ｍのオペレータによりメディア情報を再生するための出力機器（例えば、ディスプレイ、スピーカ等）を含むことができる。クライアントミーティングコンポーネント１１２−１−ｎの例には、ＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＣＯＭＭＵＮＩＣＡＴＯＲ、またはＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＬＩＶＥＭＥＥＴＩＮＧのウィンドウズベースのミーティングコンソール等を含むことができるが、これに限らない。]
[0025] 図１で例示する実施形態に示すように、マルチメディア会議システム１００には、会議室１５０を含むことができる。企業またはビジネスでは一般的には、会議室を利用して、ミーティングを開く。そのようなミーティングには、会議室１５０内にいる参加者、および、会議室１５０外にいる遠隔地の参加者が存在する、マルチメディア会議イベントが含まれる。会議室１５０は、マルチメディア会議イベントのサポートに利用可能な種々のコンピューティングリソースおよび通信リソースを有し、１つまたは複数のリモートのミーティングコンソール１１０−２−ｍとローカルのミーティングコンソール１１０−１との間のマルチメディア情報を提供する。例えば、会議室１５０には、会議室１５０内にあるローカルのミーティングコンソール１１０−１を含むことができる。] 図１
[0026] ローカルのミーティングコンソール１１０−１を、マルチメディア情報を取得、伝達、または再生することが可能な、種々のマルチメディア入力デバイスおよび／またはマルチメディア出力デバイスに接続することができる。マルチメディア入力デバイスには、会議室１５０内のオペレータからのマルチメディア情報を入力として取得または受け取るよう配置される、オーディオ入力デバイス、ビデオ入力デバイス、画像入力デバイス、テキスト入力デバイス、および他のマルチメディア入力機器を含む、任意の論理デバイスまたは物理デバイスを含むことができる。マルチメディア入力デバイスの例には、ビデオカメラ、マイクロフォン、マイクロフォン配列、会議用電話、ホワイトボード、インタラクティブホワイトボード、音声テキスト変換コンポーネント、テキスト音声変換コンポーネント、音声認識システム、ポインティングデバイス、キーボード、タッチスクリーン、タブレットコンピュータ、手書き文字認識デバイス等、を含むことができるが、これに限らない。ビデオカメラの例には、ワシントン州レドモンド、マイクロソフト社製のＭＩＣＲＯＳＯＦＴ ＲＯＵＮＤＴＡＢＬＥといったｒｉｎｇｃａｍを含むことができる。ＭＩＣＲＯＳＯＦＴ ＲＯＵＮＤＴＡＢＬＥは、遠隔地のミーティング参加者に、会議用テーブルの回りに着席している全ての人の全景ビデオを提供する３６０度カメラを有するビデオ会議デバイスである。マルチメディア出力デバイスには、リモートのミーティングコンソール１１０−２−ｍのオペレータからのマルチメディア情報を出力として再生または表示するよう配置される、オーディオ出力デバイス、ビデオ出力デバイス、画像出力デバイス、テキスト入力デバイス、および他のマルチメディア出力機器を含む、任意の論理デバイスまたは物理デバイスを含むことができる。マルチメディア出力デバイスの例には、電子ディスプレイ、ビデオプロジェクタ、スピーカ、振動ユニット、プリンタ、ファクシミリ装置等を含むことができるが、これに限らない。]
[0027] 会議室１５０内のローカルのミーティングコンソール１１０−１には、参加者１５４−１−ｐを含む会議室１５０からメディアコンテンツを取得し、かつそのメディアコンテンツをマルチメディア会議サーバ１３０へストリーミングするよう配置される、種々のマルチメディア入力デバイスを含むことができる。図１に示す例示の実施形態において、ローカルのミーティングコンソール１１０−１には、ビデオカメラ１０６、およびマイクロフォン１０４−１−ｒの配列が含まれる。ビデオカメラ１０６は、会議室１５０内に存在する参加者１５４−１−ｐのビデオコンテンツを含むビデオコンテンツを取得し、かつそのビデオコンテンツをローカルのミーティングコンソール１１０−１を介してマルチメディア会議サーバ１３０へストリーミングすることができる。同様に、マイクロフォン１０４−１−ｒの配列は、会議室１５０内に存在する参加者１５４−１−ｐからのオーディオコンテンツを含むオーディオコンテンツを取得し、かつそのオーディオコンテンツをローカルのミーティングコンソール１１０−１を介してマルチメディア会議サーバ１３０へストリーミングすることができる。ローカルのミーティングコンソールにはまた、ディスプレイまたはビデオプロジェクタといった種々のメディア出力デバイスを含むことができ、リモートのミーティングコンソール１１０−２−ｍを使用してマルチメディア会議サーバ１３０を介して受け取った、他の参加者からのビデオコンテンツまたはオーディオコンテンツを有する１つまたは複数のＧＵＩビューを示すことができる。] 図１
[0028] ミーティングコンソール１１０−１−ｍおよびマルチメディア会議サーバ１３０は、所与のマルチメディア会議イベントに対して確立される種々のメディア接続を利用して、メディア情報および制御情報をやりとりすることができる。メディア接続は、ＳＩＰシリーズのプロトコルといった種々のＶｏＩＰシグナリングプロトコルを使用して確立することができる。ＳＩＰシリーズのプロトコルは、１人または複数の参加者とのセッションを作成、修正、終了させるための、アプリケーションレイヤ制御（シグナリング）プロトコルである。これらのセッションには、インターネットマルチメディア会議、インターネット電話コール、およびマルチメディア配信が含まれる。セッションのメンバは、マルチキャストを介して、またはユニキャスト関連網を介して、またはそれらの組み合わせで、やりとりすることができる。ＳＩＰは、全体的なＩＥＴＦのマルチメディアデータおよび現在プロトコルを組み入れている制御アーキテクチャの一部として設計され、そのプロトコルには、例えば、ネットワークリソースを予約するためのＲＳＶＰ（ｒｅｓｏｕｒｃｅ ｒｅｓｅｒｖａｔｉｏｎ ｐｒｏｔｏｃｏｌ）（ＩＥＥＥ ＲＦＣ２２０５）、リアルタイムデータを伝送し、ＱＯＳ（Ｑｕａｌｉｔｙ−ｏｆ−Ｓｅｒｖｉｃｅ）のフィードバックを提供するためのＲＴＰ（ｒｅａｌ−ｔｉｍｅ ｔｒａｎｓｐｏｒｔ ｐｒｏｔｏｃｏｌ）（ＩＥＥＥ ＲＦＣ１８８９）、ストリーミングメディアの配信を制御するためのＲＴＳＰ（ｒｅａｌ−ｔｉｍｅ ｓｔｒｅａｍｉｎｇ ｐｒｏｔｏｃｏｌ）（ＩＥＥＥ ＲＦＣ２３２６）、マルチキャストを介してマルチメディアセッションを通知するためのＳＡＰ（ｓｅｓｓｉｏｎ ａｎｎｏｕｎｃｅｍｅｎｔ ｐｒｏｔｏｃｏｌ）、マルチメディアセッションを記述するためのＳＤＰ（ｓｅｓｓｉｏｎ ｄｅｓｃｒｉｐｔｉｏｎ ｐｒｏｔｏｃｏｌ）（ＩＥＥＥ ＲＦＣ２３２７）等が含まれる。例えば、ミーティングコンソール１１０−１−ｍは、ＳＩＰをシグナリングチャネルとして使用してメディア接続を設定し、かつＲＴＰをメディアチャネルとして使用して、メディア接続を介してメディア情報を伝送することができる。]
[0029] 一般的な動作では、スケジューリングデバイス１０８を使用して、マルチメディア会議システム１００に対してマルチメディア会議イベント予約を生成することができる。スケジューリングデバイス１０８には、例えば、マルチメディア会議イベントをスケジューリングするための適切なハードウェアおよびソフトウェアを有する、コンピューティングデバイスを含むことができる。例えば、スケジューリングデバイス１０８には、ワシントン州レドモンド、マイクロソフト社製の、ＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＯＵＴＬＯＯＫ「登録商標」のアプリケーションソフトウェアを利用するコンピュータを含むことができる。ＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＯＵＴＬＯＯＫのアプリケーションソフトウェアには、マルチメディア会議イベントのスケジューリングに使用することが可能な、メッセージング・コラボレーションクライアントソフトウェアが含まれる。オペレータは、ＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＯＵＴＬＯＯＫを使用して、スケジュール要求をミーティング招待者のリストに送られるＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＬＩＶＥＭＥＥＴＩＮＧイベントに変換する。スケジュール要求には、マルチメディア会議イベントの仮想の部屋へのハイパ−リンクを含むことができる。招待者がハイパ−リンクをクリックすると、ミーティングコンソール１１０−１−ｍがウェブブラウザを立ち上げ、マルチメディア会議サーバ１３０に接続し、仮想の部屋に加わる。一度そこに加われば、参加者は、スライドのプレゼンテーションを提示し、文書または思い浮かんだことを、他のツールの中から内蔵のホワイトボード上にアノテーションを付けることが可能である。]
[0030] オペレータは、スケジューリングデバイス１０８を使用して、マルチメディア会議イベントのマルチメディア会議イベント予約を生成することができる。マルチメディア会議イベント予約には、マルチメディア会議イベントのミーティング招待者のリストを含むことができる。ミーティング招待者のリストには、マルチメディア会議イベントに招待される個人のリストを含むことができる。いくつかの場合において、ミーティング招待者のリストには、マルチメディアイベントに招待され受諾した個人のみが含まれることもある。Ｍｉｃｒｏｓｏｆｔ Ｏｕｔｌｏｏｋのメールクライアントといったクライアントアプリケーションは、予約要求をマルチメディア会議サーバ１３０へ転送する。マルチメディア会議サーバ１３０は、マルチメディア会議イベント予約を受け取り、ミーティング招待者のリストおよびミーティング招待者に関連する情報を、企業リソースディレクトリ１６０といったネットワークデバイスから検索することができる。]
[0031] 企業リソースディレクトリ１６０には、オペレータおよび／またはネットワークリソースの公開ディレクトリを公開するネットワークデバイス含むことができる。企業リソースディレクトリ１６０により公開されるネットワークリソースの一般的な例には、ネットワークプリンタが含まれる。一実施形態において、例えば、企業リソースディレクトリ１６０を、ＭＩＣＲＯＳＯＦＴ ＡＣＴＩＶＥＤＩＲＥＣＴＯＲＹ「登録商標」として実装することができる。Ａｃｔｉｖｅ Ｄｉｒｅｃｔｏｒｙは、ネットワークコンピュータに対する中央認証・許可サービスを提供する、ＬＤＡＰ（ｌｉｇｈｔｗｅｉｇｈｔ ｄｉｒｅｃｔｏｒｙ ａｃｃｅｓｓ ｐｒｏｔｏｃｏｌ）のディレクトリサービスの実装である。またＡｃｔｉｖｅ Ｄｉｒｅｃｔｏｒｙにより、管理者がポリシーを割り当てること、ソフトウェアを展開すること、および重要な更新を組織に適用することが可能となる。Ａｃｔｉｖｅ Ｄｉｒｅｃｔｏｒｙは、情報および設定を中央データベースに記憶する。Ａｃｔｉｖｅ Ｄｉｒｅｃｔｏｒｙのネットワークは、数百のオブジェクトからなる小さな設定から、数百万のオブジェクトからなる大きな設定まで、様々である。]
[0032] 種々の実施形態において、企業リソースディレクトリ１６０には、マルチメディア会議イベントへの種々のミーティング招待者の識別情報を含むことができる。識別情報には、ミーティング招待者のそれぞれを一意的に識別可能な任意のタイプの情報を含むことができる。例えば、識別情報には、名前、場所、連絡先、アカウント番号、職業情報、組織情報（例えば、肩書き）、個人情報、接続情報、プレゼンス情報、ネットワークアドレス、ＭＡＣ（ｍｅｄｉａ ａｃｃｅｓｓ ｃｏｎｔｒｏｌ）アドレス、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレス、電話番号、電子メールアドレス、プロトコルアドレス（例えば、ＳＩＰアドレス）、機器識別子、ハードウェア構成、ソフトウェア構成、有線インターフェース、無線インターフェース、サポートされるプロトコル、および他の所望の情報を含むことができるが、これに限らない。]
[0033] マルチメディア会議サーバ１３０は、ミーティング招待者のリストを含むマルチメディア会議イベント予約を受け取り、対応する識別情報を企業リソースディレクトリ１６０から検索することができる。マルチメディア会議サーバ１３０は、ミーティング招待者のリストを使用して、マルチメディア会議イベントへの参加者を自動的に識別することを支援する。]
[0034] マルチメディア会議サーバ１３０、種々のハードウェアコンポーネントおよび／またはソフトウェアコンポーネントを実装して、マルチメディア会議イベントへの参加者を自動的に識別することができる。さらに特には、マルチメディア会議サーバ１３０は、会議室１５０内の参加者１５４−１−ｐといった、会議室から記録されたビデオコンテンツ内の複数の参加者を自動的に識別する技術を実装することができる。図１に示す例示の実施形態において、例えば、マルチメディア会議サーバ１３０には、コンテンツベースのメディアアノテーションモジュール１３４が含まれる。コンテンツベースのアノテーションコンポーネント１３４を、企業リソースディレクトリ１６０からマルチメディア会議イベントのミーティング招待者のリストを受け取るよう配置することができる。コンテンツベースのアノテーションコンポーネント１３４はまた、複数のミーティングコンソール１１０−１−ｍから複数の入力メディアストリームを受け取ることができ、その入力メディアストリームの１つが会議室１５０内のローカルのミーティングコンソール１１０−１からのものであり得る。コンテンツベースのアノテーションコンポーネント１３４は、各入力メディアストリームの１つまたは複数のメディアフレームに、各入力メディアストリーム内の各参加者の識別情報でアノテーションを付けて、対応するアノテーション付きメディアストリームを形成することができる。例えば、コンテンツベースのアノテーションコンポーネント１３４は、ローカルのミーティングコンソール１１０−１から受け取った入力メディアストリームの１つまたは複数のメディアフレームに、入力メディアストリーム内の各参加者１５４−１−ｐの識別情報でアノテーションを付けて、対応するアノテーション付きメディアストリームを形成することができる。コンテンツベースのアノテーションコンポーネント１５４−１−ｐは、入力メディアストリーム内の参加者１５４−１−ｐに比較的近接して、識別情報でアノテーション付けし、識別情報を配置しまたは位置づけし、参加者１５４−１−ｐが入力メディアストリーム内で動くにつれて識別情報を移動させることができる。コンテンツベースのアノテーションコンポーネント１３４については、図２を参照してさらに詳細に説明する。] 図１ 図２
[0035] 図２は、コンテンツベースのアノテーションコンポーネント１３４のブロック図を示す。コンテンツベースのアノテーションコンポーネント１３４には、マルチメディア会議サーバ１３０の一部またはサブシステムを含むことができる。コンテンツベースのアノテーションコンポーネント１３４には、複数のモジュールを含むことができる。モジュールを、ハードウェア要素、ソフトウェア要素、またはハードウェア要素およびソフトウェア要素の組み合わせを使用して実装することができる。図２に示すようなコンテンツベースのアノテーションコンポーネント１３４では、ある特定のトポロジにおいて要素の数が制限されているが、当然のことながら、コンテンツベースのアノテーションコンポーネント１３４には、代替のトポロジにおいて、所与の実装について所望の通りに、より多くのまたはより少ない要素を含むことができる。実施形態は、このコンテキストに限らない。] 図２
[0036] 図２に示す例示の実施形態において、コンテンツベースのアノテーションコンポーネント１３４には、参加者識別モジュール２２０および特徴データストア２６０に通信可能に連結されるメディア分析モジュール２１０を含むことができる。特徴データストア２６０は、種々のタイプのミーティング招待者情報２６２を記憶することができる。参加者識別モジュール２２０は、メディアアノテーションモジュール２３０および特徴データストア２６０に通信可能に連結される。メディアアノテーションモジュール２３０は、メディア混合モジュール２４０およびロケーションモジュール２３２に通信可能に連結される。ロケーションモジュール２３２は、メディア分析モジュール２１０に通信可能に連結される。メディア混合モジュール２４０には、１つまたは複数のバッファ２４２を含むことができる。] 図２
[0037] コンテンツベースのアノテーションコンポーネント１３４のメディア分析モジュール２１０を、種々の入力メディアストリーム２０４−１−ｆを入力として受け取るよう配置する。入力メディアストリーム２０４−１−ｆは、それぞれ、ミーティングコンソール１１０−１-ｍおよびマルチメディア会議サーバ１３０によりサポートされるメディアコンテンツのストリームを含むことができる。例えば、第１の入力メディアストリームは、リモートのミーティングコンソール１１０−２−ｍからのビデオストリームおよび／またはオーディオストリームを表すことができる。第１の入力メディアストリームには、ミーティングコンソール１１０−２−ｍを使用する単一の参加者のみを含むビデオコンテンツを含むことができる。第２の入力メディアストリーム２０４−２は、ローカルのミーティングコンソール１１０−１に連結される、カメラ１０６といったビデオカメラからのビデオストリーム、および、１つまたは複数のマイクロフォン１０４−１−ｒからのオーディオストリームを表すことができる。第２の入力メディアストリーム２０４−２には、ローカルのミーティングコンソール１１０−１を使用する複数の参加者１５４−１−ｐを含むビデオコンテンツを含むことができる。他の入力メディアストリーム２０４−３−ｆでは、参加者の人数の変化と共にメディアコンテンツ（例えば、オーディオ、ビデオまたはデータ）の組み合わせを変えることができる。]
[0038] メディア分析モジュール２１０は、各入力メディアストリーム２０４−１−ｆ内に存在する参加者１５４−１−ｐの人数を検出することができる。メディア分析モジュール２１０は、入力メディアストリーム２０４−１−ｆ内のメディアコンテンツの種々の特徴を使用して、参加者１５４−１−ｐの人数を検出する。一実施形態において、例えば、メディア分析モジュール２１０は、入力メディアストリーム２０４−１−ｆからのビデオコンテンツに対して画像分析技術を使用して、参加者１５４−１−ｐの人数を検出することができる。一実施形態において、例えば、メディア分析モジュール２１０は、入力メディアストリーム２０４−１−ｆからのオーディオコンテンツ対して音声分析技術を使用して、参加者１５４−１−ｐの人数を検出することができる。一実施形態において、例えば、メディア分析モジュール２１０は、入力メディアストリーム２０４−１−ｆからのオーディオコンテンツについて、画像分析および音声分析の両方を使用して、参加者１５４−１−ｐの人数を検出することができる。他のタイプのメディアコンテンツも同様に使用することができる。]
[0039] 一実施形態において、メディア分析モジュール２１０は、入力メディアストリーム２０４−１−ｆからのビデオコンテンツに対して画像分析を使用して、参加者の人数を検出することができる。例えば、メディア分析モジュール２１０は、画像分析を実施して、画像または画像のシーケンス内の人間を検出するよう設計された任意の一般的な技術を使用して、人間のある特定の特徴を検出することができる。一実施形態において、例えば、メディア分析モジュール２１０は、種々のタイプの顔検出技術を実装することができる。顔検出は、任意のデジタル画像内の人間の顔の場所および大きさを判定するコンピュータ技術である。それは、顔の特徴を検出し、建物、木、および体といったその他のものを無視する。メディア分析モジュール２１０を、人間の顔の見分けられる部分を含む区画から局部的な視覚的特徴を検出することが可能な、顔検出アルゴリズムを実装するよう配置することができる。顔を検出すると、メディア分析モジュール２１０は、所与の入力メディアストリーム２０４−１−ｆに対して検出された参加者の人数を示す画像カウンタを更新することができる。メディア分析モジュール２１０は次に、顔認識動作に備えて検出された参加者の画像コンテンツを有する画像チャンク（塊）に対して、種々の選択的後処理の動作を実施することができる。そのような後処理動作の例には、顔を表すビデオコンテンツを画像または画像のシーケンスから抽出すること、抽出したビデオコンテンツをある特定の大きさ（例えば、６４×６４のマトリクス）に標準化すること、および、ＲＧＢ色空間（例えば、６４色）を均一に量子化することを含むことができる。メディア分析モジュール２１０は、画像カウンタの値およびそれぞれの処理された画像チャンクを参加者識別モジュール２２０に出力することができる。]
[0040] 一実施形態において、メディア分析モジュール２１０は、入力メディアストリーム２０４−１−ｆからのオーディオコンテンツに対して音声分析を使用して、参加者の人数を検出することができる。例えば、メディア分析モジュール２１０は、音声分析を実施して、オーディオセグメントまたはオーディセグメントのシーケンス内の人間を検出するよう設計された任意の一般的な技術を使用して、人間の音声のある特定の特徴を検出することができる。一実施形態において、例えば、メディア分析モジュール２１０は、種々のタイプの声または音声の検出技術を実装することができる。人間の声を検出すると、メディア分析モジュール２１０は、所与の入力メディアストリーム２０４−１−ｆに対して検出された参加者の人数を示す音声カウンタを更新することができる。メディア分析モジュール２１０は、音声認識動作に備えて検出された参加者からのオーディオコンテンツを有するオーディオチャンクに対して、種々の後処理動作を選択的に実施することができる。]
[0041] 参加者からのオーディオコンテンツを有するオーディオチャンクを識別すると、メディア分析モジュール２１０は次に、オーディオチャンクに対応する画像チャンクを識別することができる。これは、例えば、オーディオチャンクの時間シーケンスと画像チャンクの時間シーケンスとの比較、オーディオチャンクと画像チャンクからの唇の動きとの比較、および他のオーディオ／ビデオマッチング技術により、達成することができる。例えば、ビデオコンテンツを、一般的には１秒当たりのメディアフレームの数（例えば、静止画）として取得する（一般的には１秒当たり１５から６０フレームのオーダーだが、他のレートも使用可能）。これらのメディアフレーム２５２−１−ｇを、対応するオーディオコンテンツと同様（例えば、オーディオデータの１秒の１／１５から１／６０ごと）、ロケーションモジュール２３２によるロケーション動作のフレームとして使用する。オーディオを記録するとき、オーディオは一般的には、ビデオよりはるかに高いレートでサンプリングされる（例えば、ビデオでは１秒に１５から６０の画像を取得する間に、数千のオーディオのサンプルを取得できる）。オーディオサンプルは、様々な異なる方法で特定のビデオフレームに対応させることができる。例えば、ビデオフレームが取得される時から次のビデオフレームが取得されるときまでの範囲のオーディオサンプルを、そのビデオフレームに対応するオーディオフレームとすることができる。別の例では、ビデオ取得フレームの時刻を中心としたオーディオサンプルを、そのビデオフレームに対応するオーディオフレームとすることができる。例えば、ビデオを１秒当たり３０フレームで取得する場合、オーディオフレームは、ビデオフレームが取得される前の１秒の１／６０から、ビデオフレームが取得された後の１秒の１／６０までの範囲とすることができる。ある状況においては、オーディオコンテンツに、ビデオコンテンツに直接には対応しないデータが含まれることがある。例えば、オーディオコンテンツは、ビデオコンテンツ内の参加者の声ではなく音楽のサウンドトラックであるかもしれない。このような状況において、メディア分析モジュール２１０は、そのオーディオコンテンツを誤検出として廃棄し、顔検出技術に戻る。]
[0042] 一実施形態において、例えば、メディア分析モジュール２１０は、入力メディアストリーム２０４−１−ｆからのオーディオコンテンツに対して画像分析および音声分析の両方を使用して、参加者１５４−１−ｐの人数を検出することができる。例えば、メディア分析２１０は、画像分析を実施して、初期パスとして参加者１５４−１−ｐの人数を検出し、次に音声分析を実施して、次期パスとして、参加者１５４−１−ｐの人数の検出を確認することができる。複数の検出技術を使用することにより、大量のコンピューティングリソースを消費して、検出動作の精度の向上による大きな利益がもたらされる。]
[0043] 参加者識別モジュール２２０を、ミーティング招待者を各検出された参加者にマッピングするよう配置する。参加者識別モジュール２２０は、企業リソースディレクトリ１６０からのミーティング招待者のリスト２０２、メディア分析モジュール２１０からのメディアカウンタの値（例えば、画像カウンタの値または音声カウンタの値）、および、メディア分析モジュール２１０からのメディアチャンク（例えば、画像チャンクまたはオーディオチャンク）を含む３つの入力を受け取ることができる。参加者識別モジュール２２０は次に、参加者識別アルゴリズムおよび３入力のうちの１つまたは複数を利用して、ミーティング招待者を各検出された参加者にマッピングすることができる。]
[0044] 上述したように、ミーティング招待者のリスト２０２には、マルチメディア会議イベントに招待される個人のリストを含むことができる。いくつかの場合において、ミーティング招待者のリスト２０２には、マルチメディアイベントに招待され受諾した個人のみが含まれることもある。加えて、ミーティング招待者のリスト２０２にはまた、所与のミーティング招待者に関連する種々のタイプの情報を含むこともできる。例えば、ミーティング招待者のリスト２０２には、所与のミーティング招待者の識別情報、所与のミーティング招待者の認証情報、ミーティング招待者により使用されるミーティングコンソール識別子等を含むことができる。]
[0045] 参加者識別アルゴリズムを、メディアカウンタの値に基づく閾値決定を使用して、ミーティング参加者を比較的速く識別するよう設計することができる。そのような参加者識別アルゴリズムの疑似コードの例を以下に示す。
Receive meeting attendee list;
For each media stream:
Detect a number of participants (N);
IfN = = 1 then participant is media source,
Else if N > 1 then
Query signature data store for meeting invitee information,
Match signatures to media chunks;
End.]
[0046] 参加者識別アルゴリズムに従って、参加者識別モジュール２２０は、第１の入力メディアストリーム２０４−１内の参加者の人数が１人であるかどうかを判定する。ＴＲＵＥの場合（例えば、Ｎ＝＝１）、参加者識別モジュール２２０は、第１の入力メディアストリーム２０４−１のメディアソースに基づき、ミーティング招待者をミーティング招待者のリスト２０２から、第１の入力メディアストリーム２０４−１内の参加者にマッピングする。この場合、第１の入力メディアストリーム２０４−１のメディアソースには、ミーティング招待者のリスト２０２または特徴データストア２６０において識別されるような、リモートのミーティングコンソール１１０−２−ｍの１つを含むことができる。第１の入力メディアストリーム２０４−１内に検出された参加者が１人のみであるため、参加者識別アルゴリズムは、その参加者が会議室１５０にいないと推測し、メディアチャンク内の参加者をメディアソースに直接マッピングする。このようにして、参加者識別モジュール２２０は、メディア分析モジュール２１０から受け取ったメディアチャンクの分析をさらに実施する必要性を減らし、または避け、それによりコンピューティングリソースを節約する。]
[0047] しかし、いくつかの場合においては、複数の参加者が会議室１５０に集まり、ローカルのミーティングコンソール１１０−１に連結される種々のタイプのマルチメディア機器を共有して、リモートのミーティングコンソール１１０−２−ｍを有する他の参加者とやりとりすることができる。ローカルのミーティングコンソール１１０−１が１つであるため、会議室１５０内の１人の参加者（例えば、参加者１５４−１）が一般的には、ローカルのミーティングコンソール１１０−１を使用して、会議室１５０内の全ての参加者１５４−２−ｐの代わりにマルチメディア会議イベントに加わる。従って、マルチメディア会議サーバ１３０は、参加者１５４−１の識別情報を有することはできるが、会議室１５０内の他の参加者１５４−２−ｐの識別情報を何ら有することはできない。]
[0048] このシナリオに対処するため、参加者識別モジュール２２０は、第２の入力メディアストリーム２０４−２内の参加者の人数が複数であるかどうかを判定する。ＴＲＵＥの場合（例えば、Ｎ＞１）、参加者識別モジュール２２０は、顔の特徴、声の特徴、または顔の特徴および声の特徴の組み合わせに基づき、各ミーティング招待者を第２の入力メディアストリーム２０４−２内の各参加者にマッピングする。]
[0049] 図２に示すように、参加者識別モジュール２２０を、特徴データストア２６２に通信可能に連結することができる。特徴データストア２６２は、各ミーティング招待者のミーティング招待者情報２６２をミーティング招待者のリスト２０２内に記憶することができる。例えば、ミーティング招待者情報２６２には、ミーティング招待者のリスト２０２内の各ミーティング招待者に対応する種々のミーティング招待者の記録を、ミーティング招待者の識別子２６４−ｌ−ａ、顔の特徴２６６−１−ｂ、声の特徴２６８−１−ｃ、および識別情報２７０−ｌ−ｄを有するミーティング招待者の記録と共に含むことができる。ミーティング招待者の記録により記憶される種々のタイプの情報は、種々のソース、例えば、ミーティング招待者のリスト２０２、企業リソースデータベース２６０、以前のマルチメディア会議イベント、ミーティングコンソール１１０−１-ｍ、サードパーティのデータベース、または他のネットワークアクセス可能リソースから得られる。] 図２
[0050] 一実施形態において、参加者識別モジュール２２０は、顔の特徴２６６−１−ｂに基づき参加者の顔認識を実施するよう配置される、顔認識システムを実装することができる。顔認識システムは、デジタル画像またはビデオソースからのビデオメディアフレームから人を自動的に識別または検証する、コンピュータアプリケーションである。こうするための１つの方法は、画像および顔のデータベースから選択された顔の特徴を比較することによる。これは、任意の数の顔認識システム、例えば、固有顔システム、ｆｉｓｈｅｒｆａｃｅシステム、隠れマルコフモデルシステム、ニューロン動機づけによるダイナミックリンク照合システム等を使用して、達成することができる。参加者識別モジュール２２０は、メディア分析モジュール２１０から画像チャンクを受け取り、種々の顔の特徴を画像チャンクから抽出することができる。参加者識別モジュール２２０は、１つまたは複数の顔の特徴２６６−１−ｂを特徴データストア２６０から検索することができる。顔の特徴２６６−１−ｂは、参加者の既知の画像から抽出された種々の顔の特徴を含むことができる。参加者識別モジュール２２０は、画像チャンクからの顔の特徴を異なる顔の特徴２６６−１−ｂと比較し、一致するかどうかを判定することができる。一致する場合、参加者識別モジュール２２０は、顔の特徴２６６−ｌ−ｂに対応する識別情報２７０−１−ｄを検索し、メディアチャンクおよび識別情報２７０−ｌ−ｄをメディアアノテーションモジュール２３０に出力することができる。例えば、画像チャンクからの顔の特徴が顔の特徴２６６−１に一致すると仮定すると、次に参加者識別モジュール２２０は、顔の特徴２６６−１に対応する識別情報２７０−１を検索し、メディアチャンクおよび識別情報２７０−１をメディアアノテーションモジュール２３０に出力することができる。]
[0051] 一実施形態において、参加者識別モジュール２２０は、声の特徴２６８−１−ｃに基づき参加者の音声認識を実施するよう配置される、音声認識システムを実装することができる。音声認識システムは、１つのオーディオセグメントまたは複数のオーディオセグメントから人を自動的に識別または検証する、コンピュータアプリケーションである。音声認識システムは、個人をその声に基づき識別することができる。音声認識システムは、音声から種々の特徴を抽出し、それらをモデルとし、それらを使用して人をその声に基づき認識する。参加者識別モジュール２２０は、オーディオチャンクをメディア分析モジュール２１０から受け取り、種々のオーディオの特徴を画像チャンクから抽出することができる。参加者識別モジュール２２０は、声の特徴２６８−１−ｃを特徴データストア２６０から受け取ることができる。声の特徴２６８−１−ｃは、参加者の既知の音声または声のパターンから抽出された種々の音声または声の特徴を含むことができる。参加者識別モジュール２２０は、画像チャンクからのオーディオの特徴を声の特徴２６８−１−ｃと比較し、一致するかどうかを判定することができる。一致する場合、参加者識別モジュール２２０は、声の特徴２６８−１−ｃに対応する識別情報２７０−ｌ−ｄを検索し、対応する画像チャンクおよび識別情報２７０−１-ｄをメディアアノテーションモジュール２３０に出力することができる。]
[0052] メディアアノテーションモジュール２３０は、各入力メディアストリーム２０４−１−ｆのメディアフレーム２５２−１−ｇに、各入力メディアストリーム２０４−１−ｆ内の各マッピングされた参加者の識別情報２７０−ｌ−ｄでアノテーションを付けて、対応するアノテーション付きメディアストリーム２０５を形成するよう動作することができる。例えば、メディアアノテーションモジュール２３０は、種々の画像チャンクおよび識別情報２７０−ｌ−ｄを参加者識別モジュール２２０から受け取る。メディアアノテーションモジュール２３０は次に、１つまたは複数のメディアフレーム２５２−１−ｇに、マッピングされた参加者に比較的近接して、識別情報２７０−ｌ−ｄでアノテーションを付ける。メディアアノテーションモジュール２３０は、１つまたは複数のメディアフレーム２５２−１−ｇのどこに識別情報２７０−ｌ−ｄでアノテーションを付けるべきかを、ロケーションモジュール２３２から受け取ったロケーション情報を使用して、正確に判定することができる。]
[0053] ロケーションモジュール２３２は、メディアアノテーションモジュール２３０およびメディア分析モジュール２１０に通信可能に連結され、入力メディアストリーム２０４−１−ｆのメディアフレームまたは連続するメディアフレーム２５２−１−ｇ内のマッピングされた参加者１５４−１−ｐのロケーション情報を判定するよう動作する。一実施形態において、例えば、ロケーション情報には、マッピングされた参加者１５４−１−ｐの中心座標２５６および境界領域２５８を含むことができる。]
[0054] ロケーションモジュール２３２は、入力メディアストリーム２０４−１−ｆのメディアフレーム２５２−１−ｇ内の、人間の顔を含む、または潜在的に含む各区域のロケーション情報を、管理および更新する。メディアフレーム２５２−１−ｇ内の区域は、メディア分析モジュール２１０から出力された画像チャンクから得られる。例えば、メディア分析モジュール２１０は、検出された参加者を含む画像チャンクを形成するのに使用されるメディアフレーム２５２−１−ｇ内の各区域のロケーション情報を出力することができる。ロケーションモジュール２３２は、画像チャンクの画像チャンク識別子のリスト、および、メディアフレーム２５２−１−ｇ内の各画像チャンクの関連するロケーション情報を保持することができる。加えてまたはあるいは、メディアフレーム２５２−１−ｇ内の区域は、メディア分析モジュール２１０とは無関係に、ロケーションモジュール２３２により、入力メディアフレーム２０４−１−ｆを分析することによって、元々得られるものでも良い。]
[0055] 例示の例において、各区域のロケーション情報について、中心座標２５６および境界領域２５８により説明する。参加者の顔を含むビデオコンテンツの区域は、中心座標２５６および境界領域２５８により定義される。中心座標２５６は、区域のほぼ中心を表し、境界領域２５８は、中心座標の回りの任意の幾何学的な形を表す。幾何学的な形は、任意の所望の大きさを持ち、所与の参加者１５４−１−ｐに従って変化させることができる。幾何学的な形の例には、矩形、円、楕円、三角形、五角形、六角形、または他の自由な形、を含むことができるが、これに限らない。境界領域２５８は、メディアフレーム２５２−１−ｇ内の、顔を含み、ロケーションモジュール２３２によりトラッキングされる区域を定義する。]
[0056] ロケーション情報には、識別ロケーション２７２をさらに含むことができる。識別ロケーション２７２には、識別情報２７０−１-ｄでアノテーションを付けるための境界領域２５８内の位置を含むことができる。マッピングされた参加者１５４−１−ｐの識別情報２７０−１−ｄは、境界領域２５８内の任意の場所に配置することができる。適用においては、メディアフレーム２５２−１−ｇを閲覧する側の観点からは、識別情報２７０−ｌ−ｄは、マッピングされた参加者１５４−１−ｐに十分に近接させ、参加者１５４−１−ｐのビデオコンテンツと参加者１５４−１−ｐの識別情報２７０−ｌ−ｄとの間の関連付けを容易にするべきであり、それにより、参加者１５４−１−ｐのビデオコンテンツを部分的または全面的に塞いでしまう可能性を減らすまたは避けることになる。識別ロケーション２７２は、固定された場所とすることができ、または、参加者１５４−１−ｐの大きさ、参加者１５４−１−ｐの動き、メディアフレーム２５２−１−ｇ内の背景のオブジェクトの変化等の要因により動的に変えることもできる。]
[0057] メディアアノテーションモジュール２３０が、参加者識別モジュール２２０から種々の画像チャンクおよび識別情報２７０−ｌ−ｄを受け取ると、メディアアノテーションモジュール２３０は、画像チャンクのロケーション情報をロケーションモジュール２３２から検索する。メディアアノテーションモジュール２３０は、各入力メディアストリーム２０４−１−ｆの１つまたは複数のメディアフレーム２５２−１−ｇに、ロケーション情報に基づき、各入力メディアストリーム２０４−１-ｆ内の各マッピングされた参加者の識別情報２７０−１−ｄでアノテーションを付ける。例として、メディアフレーム２５２−１に、参加者１５４−１、１５４−２および１５４−３が含まれると仮定する。さらに、マッピングされた参加者が参加者１５４−２であると仮定する。メディアアノテーションモジュール２３０は、参加者識別モジュール２２０から識別情報２７０−２を、および、メディアフレーム２５２−１内の区域のロケーション情報を受け取る。メディアアノテーションモジュール２３０は次に、第２の入力メディアストリーム２０４−２のメディアフレーム２５２−１に、識別ロケーション２７２において、中心座標２５６の回りの境界領域２５８内のマッピングされた参加者１５４−２の識別情報２７０−２でアノテーションを付ける。図１に示す例示の実施形態においては、境界領域２５８は、矩形の形を持ち、メディアアノテーションモジュール２３０は、境界領域２５８の右上の隅の、参加者１５４−２のビデオコンテンツと境界領域２５８の端部との間の空間にある識別ロケーション２７２に、識別情報２７０−２を位置づけする。] 図１
[0058] メディアフレーム２５２−１−ｇの区域に、マッピングされた参加者１５４−１−ｐの識別情報２７０−ｌ−ｄでアノテーションを付けると、ロケーションモジュール２３２は、トラッキングリストを使用して、入力メディアストリーム２０４−１−ｆにおける次に続くメディアフレーム２５２−１−ｇの参加者１５４−１−ｐの動きを監視しトラッキングすることができる。一度検出されると、ロケーションモジュール２３２は、トラッキングリスト内のマッピングされた参加者１５４−１−ｐの識別された各区域をトラッキングする。ロケーションモジュール２３２は、種々の視覚的キューを使用して、ビデオコンテンツのフレームごとに区域をトラッキングする。トラッキングされている区域の顔のそれぞれは、人の少なくとも一部の画像である。一般的には、人々は、ビデオコンテンツが生成されている間、立ち上がる、座る、歩き回る、椅子に座った状態で動くというように、動くことができる。入力メディアストリーム２０４−１−ｆの各メディアフレーム２５２−１−ｇで顔検出を実施するよりも、ロケーションモジュール２３２は、（一度検出された）顔を含む区域をフレームごとにトラッキングするが、これは、一般的には、繰り返し顔検出を実施するより、計算コストは高くない。]
[0059] メディア混合モジュール２４０を、メディアアノテーションモジュール２３０に通信可能に連結することができる。メディア混合モジュール２４０を、複数のアノテーション付きメディアストリーム２０５をメディアアノテーションモジュール２３０から受け取り、複数のアノテーション付きメディアストリーム２０５を組み合わせて混合出力メディアストリーム２６０を作成し、複数のミーティングコンソール１１０−１-ｍにより表示するよう配置することができる。メディア混合モジュール２４０は、バッファ２４２および種々の遅延モジュールを選択的に利用して、種々のアノテーション付きメディアストリーム２０５を同期させることができる。メディア混合モジュール２４０を、コンテンツベースのアノテーションコンポーネント１３４の一部としてＭＣＵとして実装することができる。加えてまたはあるいは、メディア混合モジュール２４０を、マルチメディア会議サーバ１３０のサーバミーティングコンポーネント１３２の一部としてＭＣＵとして実装することができる。]
[0060] 図３は、マルチメディア会議サーバ１３０のブロック図を示す。図３に示すように、マルチメディア会議サーバ１３０は、種々の入力メディアストリーム２０４−ｌ−ｍを受け取り、コンテンツベースのアノテーションコンポーネント１３４を使用して種々の入力メディアストリーム２０４−ｌ−ｍを処理し、複数の混合出力メディアストリーム２０６を出力することができる。入力メディアストリーム２０４−ｌ−ｍは、種々のミーティングコンソール１１０−ｌ−ｍから出される異なるメディアストリームを表し、混合出力メディアストリーム２０６は、種々のミーティングコンソール１１０−ｌ−ｍで終了する同一のメディアストリームを表す。] 図３
[0061] コンピューティングコンポーネント３０２は、コンテンツベースのアノテーションコンポーネント１３４をサポートまたは実装する種々のコンピューティングリソースを表すことができる。コンピューティングコンポーネント３０２の例には、プロセッサ、メモリユニット、バス、チップセット、コントローラ、振動子、システムクロック、および、他のコンピューティングプラットフォームまたはシステムアーキテクチャ機器を含むことができるが、これに限らない。]
[0062] 通信コンポーネント３０４は、入力メディアストリーム２０４−ｌ−ｍを受け取り、混合出力メディアストリーム２０６を送信する種々の通信リソースを表すことができる。通信コンポーネント３０４の例には、受信機、送信機、送受信機、ネットワークインターフェース、ネットワークインターフェースカード、無線、ベースバンドプロセッサ、フィルタ、増幅器、変調器、復調器、マルチプレクサ、ミキサ、スイッチ、アンテナ、プロトコルスタック、または、他の通信プラットフォームまたはシステムアーキテクチャ機器を含むことができるが、これに限らない。]
[0063] サーバミーティングコンポーネント１３２は、マルチメディア会議イベントを確立、管理または制御する種々のマルチメディア会議リソースを表すことができる。サーバミーティングコンポーネント１３２には、他の要素の中でも、ＭＣＵを含むことができる。ＭＣＵは、マルチメディア会議の接続をブリッジするために一般に使用されるデバイスである。ＭＣＵは一般的には、３つ以上のミーティングコンソール１１０−１−ｍおよびゲートウェイが多地点の会議に参加する能力を提供する、ネットワーク内のエンドポイントである。ＭＣＵには一般的には、多地点コントローラ（ＭＣ）および種々の多地点プロセッサ（ＭＰ）が含まれる。一実施形態において、例えば、サーバミーティングコンポーネント１３２は、ＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＬＩＶＥＭＥＥＴＩＮＧまたはＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＳＥＲＶＥＲのためのハードウェアおよびソフトウェアを実装することができる。しかし、当然のことながら、実装がこれらの例に限らない。]
[0064] 上述の実施形態の動作を、１つまたは複数の論理フローを参照してさらに説明することができる。当然のことながら、特に示さない限り、代表的な論理フローを必ずしも提示された順番、または任意の特定の順番で実行する必要はない。さらに、論理フローに関して説明する種々の動作は、連続的にまたは並行して実行可能である。論理フローは、説明する実施形態の１つまたは複数のハードウェア要素および／またはソフトウェア要素、または所与の組の設計および性能制約に必要とされる代替の要素を使用して実装することができる。例えば、論理フローを、論理的デバイス（例えば、汎用コンピュータまたは特定の目的のコンピュータ）による実行のための論理（例えば、コンピュータプログラム命令）として実装することができる。]
[0065] 図４は、論理フロー４００の一実施形態を示す。論理フロー４００は、本明細書に説明する１つまたは複数の実施形態により実行される、一部または全ての動作の代表とすることができる。] 図４
[0066] 図４に示すように、論理フロー４００は、４０２にて、マルチメディア会議イベントのミーティング招待者のリスト受け取ることができる。例えば、マルチメディア会議サーバ１３０のコンテンツベースのアノテーションコンポーネント１３４の参加者識別モジュール２２０は、ミーティング招待者のリスト２０２およびマルチメディア会議イベントの付随する情報を受け取ることができる。ミーティング招待者のリスト２２０の全てまたは一部、および付随する情報を、スケジューリングデバイス１０８および／または企業リソースディレクトリ１６０から受け取ることができる。] 図４
[0067] 論理フロー４００は、ブロック４０４にて、複数のミーティングコンソールから複数の入力メディアストリームを受け取ることができる。例えば、メディア分析モジュール２１０は、入力メディアストリーム２０４−１−ｆを受け取り、参加者を有する種々の画像チャンクを参加者識別モジュール２２０に出力することができる。参加者識別モジュール２２０は、画像チャンクならびに種々の顔認識技術および／または音声認識技術を使用して、参加者をミーティング招待者のリスト２０２からミーティング招待者２６４−１−ａにマッピングし、画像チャンクおよび対応する識別情報２７０−１−ｄをメディアアノテーションモジュール２３０に出力することができる。]
[0068] 論理フロー４００は、ブロック４０６にて、各入力メディアストリームのメディアフレームに、各入力メディアストリーム内の各参加者の識別情報でアノテーションを付けて、対応するアノテーション付きメディアストリームを形成することができる。例えば、メディアアノテーションモジュール２３０は、参加者識別モジュール２２０から画像チャンクおよび対応する識別情報２７０−ｌ−ｄを受け取り、画像チャンクに対応するロケーション情報をロケーションモジュール２３２から検索し、各入力メディアストリーム２０４−１−ｆの１つまたは複数のメディアフレーム２５２−１−ｇに、各入力メディアストリーム２０４−１−ｆ内の各参加者１５４−１−ｐの識別情報２７０−ｌ−ｄでアノテーションを付けて、対応するアノテーション付きメディアストリーム２０５を形成することができる。]
[0069] 図５は、ミーティングコンソール１１０−１−ｍまたはマルチメディア会議サーバ１３０を実装するのに適切なコンピューティングアーキテクチャ５１０のより詳細なブロック図をさらに示す。基本的な構成において、コンピューティングアーキテクチャ５１０には一般的には、少なくとも１つの処理ユニット５３２およびメモリ５３４が含まれる。メモリ５３４を、データを記憶することが可能な、揮発性メモリおよび不揮発性メモリの両方を含む、任意の機械可読媒体またはコンピュータ可読媒体を使用して実装することができる。例えば、メモリ５３４には、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ−ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＤＲＡＭ（ｄｙｎａｍｉｃ ＲＡＭ）、ＤＤＲＡＭ（Ｄｏｕｂｌｅ−Ｄａｔａ−Ｒａｔｅ ＤＲＡＭ）、ＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）、ＳＲＡＭ（ｓｔａｔｉｃ ＲＡＭ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ、強誘電性ポリマーメモリといったポリマーメモリ、オボニックメモリ、相変化もしくは強誘電性メモリ、ＳＯＮＯＳ（ｓｉｌｉｃｏｎ−ｏｘｉｄｅ−ｎｉｔｒｉｄｅ−ｏｘｉｄｅ−ｓｉｌｉｃｏｎ）型メモリ、磁気カードもしくは光カード、または情報の記憶に適切な任意の他のタイプの媒体を含むことができる。図５に示すように、メモリ５３４は、１つまたは複数のアプリケーションプログラム５３６−１−ｔといった種々のソフトウェアプログラムおよび付随するデータを記憶することができる。実装によっては、アプリケーションプログラム５３６−１−ｔの例に、サーバミーティングコンポーネント１３２、クライアントミーティングコンポーネント１１２−１−ｎ、またはコンテンツベースのアノテーションコンポーネント１３４を含むことができる。] 図５
[0070] コンピューティングアーキテクチャ５１０はまた、その基本的構成を超える追加の特性および／または機能性を有することができる。例えば、コンピューティングアーキテクチャ５１０には、着脱可能記憶装置５３８および着脱不可能記憶装置５４０を含み、これらがまた、前述したような種々のタイプの機械可読媒体またはコンピュータ可読媒体を含むことができる。コンピューティングアーキテクチャ５１０はまた、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイス、測定装置、センサ等といった、１つまたは複数の入力デバイス５４４を有することができる。コンピューティングアーキテクチャ５１０はまた、ディスプレイ、スピーカ、プリンタ等といった、１つまたは複数の出力デバイス５４２を含むことができる。]
[0071] コンピューティングアーキテクチャ５１０には、コンピューティングアーキテクチャ５１０を他のデバイスと通信可能にする、１つまたは複数の通信接続５４６をさらに含むことができる。通信接続５４６には、１つまたは複数の通信インターフェース、ネットワークインターフェース、ＮＩＣ（ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ ｃａｒｄ）、無線、無線送受信機（トランシーバ）、有線通信媒体および／または無線通信媒体、物理的コネクタ等といった、種々のタイプの標準通信要素を含むことができる。通信媒体は一般的には、コンピュータ可読命令、データ構造、プログラムモジュール、または、搬送波もしくは他のトランスポート機構といった変調データ信号の他のデータを具現化し、かつ、任意の情報配信媒体を含む。用語「変調データ信号」は、情報を信号にエンコードするような方法で設定または変更された、１つまたは複数の特徴を有する信号を意味する。制限ではなく例として、通信媒体には、有線通信媒体および無線通信媒体が含まれる。有線通信媒体の例には、配線、ケーブル、金属リード線、ＰＣＢ（ｐｒｉｎｔｅｄ ｃｉｒｃｕｉｔ ｂｏａｒｄ）、バックプレーン、スイッチ構成、半導体物質、ツイストペア線、同軸ケーブル、光ファイバ、伝播信号等を含むことができる。無線通信媒体の例には、音響、ＲＦ（ｒａｄｉｏ−ｆｒｅｑｕｅｎｃｙ）スペクトラム、赤外線、および他の無線媒体を含むことができる。用語「機械可読媒体」および「コンピュータ可読媒体」は本明細書で使用されるとき、記憶媒体および通信媒体の両方を含むことを意味する。]
[0072] 図６は、論理フロー４００を含む、種々の実施形態の論理を記憶するのに適切な製造品６００の図を示す。図示するように、製品６００には、論理６０４を記憶する記憶媒体６０２を含むことができる。記憶媒体６０２の例には、揮発性メモリまたは不揮発性メモリ、着脱可能メモリまたは着脱不可能メモリ、消去可能メモリまたは消去不可能メモリ、書き込み可能メモリまたは書き換え可能メモリ等を含む、電子データを記憶可能な１つまたは複数のタイプのコンピュータ可読記憶媒体を含むことができる。論理６０４の例には、種々のソフトウェア要素、例えば、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、機械プログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、ファンクション、メソッド、プロシージャ、ソフトウェアインターフェース、ＡＰＩ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍ ｉｎｔｅｒｆａｃｅ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、単語、値、シンボル、またはその任意の組み合わせを含むことができる。] 図６
[0073] 一実施形態において、例えば、製品６００および／またはコンピュータ可読記憶媒体６０２は、コンピュータにより実行されるとき、説明した実施形態に従ってコンピュータに方法および／または動作を実施させる、実行可能コンピュータプログラム命令を含む、論理６０４を記憶することができる。実行可能コンピュータプログラム命令には、任意の適切なタイプのコード、例えば、ソースコード、コンパイルされたコード、インタプリタコード、実行可能コード、静的コード、動的コード等を含むことができる。実行可能コンピュータプログラム命令を、コンピュータに命令してある特定の機能を実施させるための、所定のコンピュータ言語、方法または構文に従って実装することができる。命令を、任意の適切な、高級プログラミング言語、低級プログラミング言語、オブジェクト指向プログラミング言語、ビジュアルプログラミング言語、コンパイル型プログラミング言語および／またはインタプリタ型プログラミング言語、例えば、Ｃ、Ｃ＋＋、Ｊａｖａ、ＢＡＳＩＣ、Ｐｅｒｌ、Ｍａｔｌａｂ、Ｐａｓｃａｌ、Ｖｉｓｕａｌ ＢＡＳＩＣ、アセンブリ言語、およびその他を使用して実装することができる。]
[0074] 種々の実施形態を、ハードウェア要素、ソフトウェア要素、またはその両方の組み合わせを使用して実装することができる。ハードウェア要素の例には、論理デバイスとして上記で説明したような例のいずれかを含むことができ、かつ、マイクロプロセッサ、回路、回路素子（例えば、トランジスタ、抵抗、コンデンサ、インダクタ等）、集積回路、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット等をさらに含む。ソフトウェア要素の例には、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、機械プログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、ファンクション、メソッド、プロシージャ、ソフトウェアインターフェース、ＡＰＩ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍ ｉｎｔｅｒｆａｃｅ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、単語、値、シンボル、またはその任意の組み合わせを含むことができる。ハードウェア要素および／またはソフトウェア要素を使用して実施形態を実装するかどうかの判定は、任意の数の要因、例えば、所与の実装に必要とされる、所望のコンピュータレート、電力レベル、耐熱性、処理サイクル量、入力データレート、出力データレート、メモリリソース、データバススピード、および、他の設計または性能の制約従って変化する。]
[0075] いくつかの実施形態を、「連結される」および「接続される」という表現とその派生語を使用して説明することができる。これらの用語は、必ずしもお互いに同義であることを意図するとは限らない。例えば、いくつの実施形態では、用語「接続される」および／または「連結される」を使用して説明し、２つまたはそれ以上の要素が直接、物理的または電気的にお互いに接触することを示す。しかし、用語「連結される」はまた、２つまたはそれ以上の要素がお互いに直接には接触しないが、お互いにまだ協働または相互作用することを意味することもできる。]
[0076] 読者が技術的開示の本質を素早く確認することを可能にする要約書を要求する、３７ＣＦ．Ｒ．Ｓｅｃｔｉｏｎ１．７２（ｂ）を順守するように、本開示の「要約書」を提供することを強調する。「要約書」を、請求項の範囲または意味を解釈または制限するために使用されないという理解のもとに提出する。加えて、前述の「発明を実施するための形態」において、種々の特徴を、本開示を合理化する目的で、単一の実施形態にまとめていることが分かる。この開示の方法は、特許請求される実施形態が各請求項に明示的に列挙されるより多くの特徴を要求するという意図を示すものとして解釈されるべきではない。むしろ、後述の請求項が示すように、発明の主題は、単一の開示される実施形態の全ての特徴より少ない特徴にある。従って、後述の請求項はこれによって、「発明を実施するための形態」に組み込まれ、各請求項は別個の実施形態として自立するものである。添付の請求項において、用語「含む」および「それにおいて」が、それぞれの用語「備える」および「それにおいて」の平易な表現と等価なものとして使用される。さらに、用語「第１の」「第２の」「第３の」等は単にラベルとして使用され、それらの対象に数の要件を課すことを意図していない。]
[0077] 主題を、構造的特徴および／または方法論的な行為に固有の言語で説明したが、当然のことながら、添付の請求項に定義される主題は必ずしも上述の特定の特徴または行為に限らない。むしろ、上述の特定の特徴および行為は、請求項を実装する形式の例として開示するものである。]

权利要求:

請求項1
マルチメディア会議イベントのミーティング招待者のリストを受け取るステップ（４０２）と、複数のミーティングコンソールから複数の入力メディアストリームを受け取るステップ（４０４）と、各前記入力メディアストリームのメディアフレームに、各前記入力メディアストリーム内の各参加者の識別情報でアノテーションを付けて、対応するアノテーション付きメディアストリームを形成するステップ（４０６）とを含むことを特徴とする方法。
請求項2
各前記入力メディアストリーム内の参加者の人数を検出するステップと、ミーティング招待者を各前記検出された参加者にマッピングするステップと、各前記マッピングされた参加者の識別情報を検索するステップと、各前記入力メディアストリームの前記メディアフレームに、各前記入力メディアストリーム内の各前記マッピングされた参加者の前記識別情報でアノテーションを付けて、前記対応するアノテーション付きメディアストリームを形成するステップとを含むことを特徴とする請求項１に記載の方法。
請求項3
第１の入力メディアストリーム内の参加者の人数は１人であると判定するステップと、前記第１の入力メディアストリームのメディアソースに基づき、ミーティング招待者を前記第１の入力メディアストリーム内の参加者にマッピングするステップとを含むことを特徴とする請求項２に記載の方法。
請求項4
第２の入力メディアストリーム内の参加者の人数は２人以上であると判定するステップと、顔の特徴または声の特徴に基づき、ミーティング招待者を前記第２の入力メディアストリーム内の参加者にマッピングするステップとを含むことを特徴とする請求項２に記載の方法。
請求項5
前記入力メディアストリームの１つまたは連続する前記メディアフレーム内の前記マッピングされた参加者のロケーション情報を判定するステップであって、前記ロケーション情報が前記マッピングされた参加者の中心座標および境界領域を備えるステップを含むことを特徴とする請求項２に記載の方法。
請求項6
各前記入力メディアストリームの前記メディアフレームに、各前記マッピングされた参加者の前記ロケーション情報に基づき、各前記マッピングされた参加者の前記識別情報でアノテーションを付けるステップを含むことを特徴とする請求項２に記載の方法。
請求項7
各前記入力メディアストリームの前記メディアフレームに、前記マッピングされた参加者の判定されたロケーションについての中心座標の回りの境界領域内に、各前記マッピングされた参加者の前記識別情報でアノテーションを付けるステップを含むことを特徴とする請求項２に記載の方法。
請求項8
複数の前記アノテーション付きメディアストリームを組み合わせて混合出力メディアストリームを作成し、複数の前記ミーティングコンソールにより表示するステップを含むことを特徴とする請求項２に記載の方法。
請求項9
命令を含む記憶媒体を備える製品であって、前記命令は、実行されると、システムが、マルチメディア会議イベントのミーティング招待者のリストを受け取ることと、複数のミーティングコンソールから複数の入力メディアストリームを受け取ることと、各前記入力メディアストリームのメディアフレームに、各前記入力メディアストリーム内の各参加者の識別情報でアノテーションを付けて、対応するアノテーション付きメディアストリームを形成することを可能にする命令であることを特徴とする製品。
請求項10
実行されると、前記システムが、各前記入力メディアストリーム内の参加者の人数を検出することと、ミーティング招待者を各前記検出された参加者にマッピングすることと、各前記マッピングされた参加者の識別情報を検索することと、各前記入力メディアストリームの前記メディアフレームに、各前記入力メディアストリーム内の各前記マッピングされた参加者の前記識別情報でアノテーションを付けて、前記対応するアノテーション付きメディアストリームを形成することを可能にする命令をさらに含むことを特徴とする請求項９に記載の製品。
請求項11
実行されると、前記システムが、第１の入力メディアストリーム内の参加者の人数は１人であると判定することと、前記第１の入力メディアストリームのメディアソースに基づき、ミーティング招待者を前記第１の入力メディアストリーム内の参加者にマッピングすることを可能にする命令をさらに含むことを特徴とする請求項９に記載の製品。
請求項12
実行されると、前記システムが、第２の入力メディアストリーム内の参加者の人数が２人以上であると判定することと、顔の特徴または声の特徴に基づき、ミーティング招待者を前記第２の入力メディアストリーム内の参加者にマッピングすることを可能にする命令をさらに含むことを特徴とする請求項９に記載の製品。
請求項13
マルチメディア会議イベントのミーティング招待者のリストを受け取り、複数のミーティングコンソール（１１０）から複数の入力メディアストリーム（２０４）を受け取り、各前記入力メディアストリームのメディアフレーム（２５２）に、各前記入力メディアストリーム内の各参加者の識別情報（２７０）でアノテーションを付けて、対応するアノテーション付きメディアストリーム（２０５）を形成するよう動作する、コンテンツベースのアノテーションコンポーネント（１３４）を備えることを特徴とする装置。
請求項14
前記コンテンツベースのアノテーションコンポーネントは、各前記入力メディアストリーム内の参加者の人数を検出するよう動作するメディア分析モジュール（２１０）と、前記メディア分析モジュールに通信可能に連結される参加者識別モジュール（２２０）であって、ミーティング招待者を各前記検出された参加者にマッピングするよう、かつ、各前記マッピングされた参加者の識別情報を検索するよう動作する前記参加者識別モジュールと、前記参加者識別モジュールに通信可能に連結されるメディアアノテーションモジュール（２３０）であって、各前記入力メディアストリームの前記メディアフレームに、各前記入力メディアストリーム内の各前記マッピングされた参加者の前記識別情報でアノテーションを付けて、前記対応するアノテーション付きメディアストリームを形成するよう動作する前記メディアアノテーションモジュールとを備えることを特徴とする請求項１３に記載の装置。
請求項15
前記参加者識別モジュールは、第１の入力メディアストリーム内の参加者の人数が１人であると判定するよう、かつ、前記第１の入力メディアストリームのメディアソースに基づき、ミーティング招待者を前記第１の入力メディアストリーム内の参加者にマッピングするよう動作することを特徴とする請求項１４に記載の装置。
請求項16
前記参加者識別モジュールは、第２の入力メディアストリーム内の参加者の人数が２人以上であると判定するよう、かつ、顔の特徴（２６６）、声の特徴（２６８）、または前記顔の特徴および前記声の特徴の組み合わせに基づき、ミーティング招待者を前記第２の入力メディアストリーム内の参加者にマッピングするよう動作することを特徴とする請求項１４に記載の装置。
請求項17
前記メディアアノテーションモジュールに通信可能に連結されるロケーションモジュール（２３２）であって、前記入力メディアストリームの１つまたは連続する前記メディアフレーム内の前記マッピングされた参加者のロケーション情報を判定するよう動作し、前記ロケーション情報は前記マッピングされた参加者についての中心座標（２５６）および境界領域（２５８）を含む前記ロケーションモジュールを備えることを特徴とする請求項１４に記載の装置。
請求項18
前記メディアアノテーションモジュールは、各前記入力メディアストリームの前記メディアフレームに、前記ロケーション情報に基づき、各前記マッピングされた参加者の前記識別情報でアノテーションを付けるよう動作することを特徴とする請求項１４に記載の装置。
請求項19
前記メディアアノテーションモジュールに通信可能に連結されるメディア混合モジュール（２４０）であって、複数の前記アノテーション付きメディアストリームを受け取るよう、かつ、前記複数のアノテーション付きメディアストリームを組み合わせて混合出力メディアストリーム（２０６）を作成し、複数の前記ミーティングコンソールによって表示するよう動作する前記メディア混合モジュールを備えることを特徴とする請求項１４に記載の装置。
請求項20
前記複数のミーティングコンソール間で前記マルチメディア会議イベントのマルチメディア会議の動作を管理するよう動作するマルチメディア会議サーバ（１３０）であって、前記コンテンツベースのアノテーションコンポーネントを備える前記マルチメディア会議サーバを備えることを特徴とする請求項１４に記載の装置。